【glossary】トランスフォーマーアーキテクチャ(Transformer Architecture)

トランスフォーマーアーキテクチャ (Transformer Architecture) とはディープラーニングモデルの一種です。大量のテキストデータからパターンを学習し、自然言語を理解することです。自然言語処理AIの飛躍的な発展の元となっている技術です。ChatGPTにおける重要な技術の一つとなります。

その特徴は、長距離の依存関係を学習する能力と並行して計算を行うことができる点です。トランスフォーマーは、膨大な量のテキストデータを処理するために設計されており、シーケンス内の単語やトークンの位置情報を考慮しながら、文脈の理解や特徴の抽出を行います。

とくに翻訳、要約、自然言語による質問応答など、さまざまな自然言語処理タスクに活用されています。

トランスフォーマーアーキテクチャではエンコーダとデコーダが重要な役割をはたしています。
エンコーダはにより文章など入力シーケンスをエンコードして抽象的な表現を生成します。デコーダは、エンコーダの出力と目標シーケンスを入力とし、次のトークンを予測しつつ出力シーケンスを生成します。

自己注意機構により、トークン同士の関連性を計算するための重みが学習します。自己注意機構は、各トークンが他のトークンとの関連性を考慮しながら情報を処理するため、長い距離の依存関係をモデルが把握でます。

個人的に独自に調査した事項をまとめています。各ベンダーとは全く関係がありません。
内容に誤りがある場合や情報が古くなっている場合があります。その場合でも修正されるとは限りません。
参考としてサイト閲覧ください。万が一誤りがあり損失等が発生しても保証しません。あくまでも自己責任でサイトを閲覧ください。